Hadoop

您所在的位置:网站首页 hbase 归档冷数据 Hadoop

Hadoop

2024-07-14 09:44:03| 来源: 网络整理| 查看: 265

  六、Move迁移数据

Mover 是 HDFS 的一个数据迁移工具,类似 Balancer. 区别在于,Mover 的目的是把数据块按照存储策略迁移,Balancer 是在不同 DataNode 直接进行平衡。

如果 DataNode 挂载了多种存储类型,Mover 优先尝试在本地迁移,避免网络 IO.

使用方式: hdfs mover -p ,如果想一次性迁移所有数据,可把 path 指定为根路径,不过需要的时间也更长。

 

七、HDFS 社区版存在问题: 对存量数据处理的支持不好。设置数据的 Storage Policies 属性后,只对新写入的数据有效。对于存量数据,系统并不能将其自动移动到对应的存储介质上。   HDFS 提供了一个外置工具 mover,可以把数据移动到正确的位置,但 mover 也不能确保调用后会把所有的数据都移动过去。

没有提供冷数据分析方案。

没有提供把远程存储设备(譬如 S3)mount 到 DataNode 上作为存储类型的方案。

 

八、HBase利用HDFS异构存储特性

HBase 资源隔离 + 异构存储。SATA 磁盘的随机 iops 能力,单次访问的 RT,读写吞吐上都远远不如 SSD,那么对 RT 极其敏感业务来说,SATA 盘并不能胜任,所以我们需要 HBase 有支持 SSD 存储介质的能力。

为了 HBase 可以支持异构存储,首先在 HDFS 层面就需要做响应的支持,在 HDFS 2.6.x 以及之后的版本,提供了对 SSD 上存储文件的能力,

换句话说在一个 HDFS 集群上可以有 SSD 和 SATA 磁盘并存,对应到 HDFS 存储格式为 [ssd] 与 [disk]。

存储架构

添加 SSD 磁盘之后,HDFS 集群存储架构示意图:

使用场景 将WAL日志保存到SSD中,其他的数据则存储在普通的SATA盘中

HBase实现异构wal存储很简单,底层依赖的就是hdfs的异构storage策略,不过是将wal文件所在的目录经反射调用dfs client的setStoragePolicy方法设置为用户指定的policy。

具体的配置策略如下:在 hdfs-site.xml 中修改:

hbase.wal.storage.policy ONE_SSD

该配置的默认值是NONE,也就是wal文件和数据都存储在DISK上,不做区分。

可以修改为ONE_SSD或者ALL_SDD,不同在于:

ONE_SSD:wal的一个副本置于SSD上,而其他副本仍然在默认存储; ALL_SSD:wal文件的所有副本都存储于SSD盘上; 将表的指定列族数据存储在SSD盘中

在HBASE-14061之后,我们支持通过 hbase.hstore.block.storage.policy 配置,我们支持CF级别设置来覆盖配置文件中的设置。

例如,要创建具有两个系列的表:具有“ ALL_SSD”存储策略的“ cf1”和具有“ ONE_SSD”的“ cf2”,我们可以在hbase shell中使用以下命令:

create 'table',{NAME=>'f1',STORAGE_POLICY=>'ALL_SSD'},{NAME=>'f2',STORAGE_POLICY=>'ONE_SSD'}

我们还可以像其他所有配置一样在table属性中设置配置:

create 'table',{NAME=>'f1',CONFIGURATION=>{'hbase.hstore.block.storage.policy'=>'ONE_SSD'}}

 

 



【本文地址】

公司简介

联系我们

今日新闻


点击排行

实验室常用的仪器、试剂和
说到实验室常用到的东西,主要就分为仪器、试剂和耗
不用再找了,全球10大实验
01、赛默飞世尔科技(热电)Thermo Fisher Scientif
三代水柜的量产巅峰T-72坦
作者:寞寒最近,西边闹腾挺大,本来小寞以为忙完这
通风柜跟实验室通风系统有
说到通风柜跟实验室通风,不少人都纠结二者到底是不
集消毒杀菌、烘干收纳为一
厨房是家里细菌较多的地方,潮湿的环境、没有完全密
实验室设备之全钢实验台如
全钢实验台是实验室家具中较为重要的家具之一,很多

推荐新闻


图片新闻

实验室药品柜的特性有哪些
实验室药品柜是实验室家具的重要组成部分之一,主要
小学科学实验中有哪些教学
计算机 计算器 一般 打孔器 打气筒 仪器车 显微镜
实验室各种仪器原理动图讲
1.紫外分光光谱UV分析原理:吸收紫外光能量,引起分
高中化学常见仪器及实验装
1、可加热仪器:2、计量仪器:(1)仪器A的名称:量
微生物操作主要设备和器具
今天盘点一下微生物操作主要设备和器具,别嫌我啰嗦
浅谈通风柜使用基本常识
 众所周知,通风柜功能中最主要的就是排气功能。在

专题文章

    CopyRight 2018-2019 实验室设备网 版权所有 win10的实时保护怎么永久关闭